本研究的目标是开发新的可靠开放式手术缝合培训医学院的仿真系统,以便在资源有限或国内设置。即,我们开发了一种工具和手本地化的算法,以及根据简单的网络摄像头视频数据,计算出用于评估外科技能的运动指标。二十五位参与者使用我们的模拟器执行多个缝合任务。 yolo网络已被修改为多任务网络,以便工具本地化和工具手动交互检测。这是通过分割YOLO检测头来实现的,使得它们支持两项任务,以对计算机运行时间最小的添加。此外,基于系统的结果,计算了运动指标。这些指标包括传统的指标,如时间和路径长度以及评估技术参与者使用的新度量来控制工具。双重任务网络性能与两个网络的性能类似,而计算负载仅略大于一个网络。此外,运动指标显示专家和新手之间的显着差异。虽然视频捕获是微创手术的重要组成部分,但它不是开放手术的整体组成部分。因此,需要新的算法,重点关注当前的独特挑战,是开放的手术视频存在。在本研究中,开发了一种双任务网络来解决本地化任务和手动工具交互任务。双网络可以很容易地扩展到多任务网络,这可能对具有多个层的图像有用,并且用于评估这些不同层之间的交互。
translated by 谷歌翻译